Năm 1858, từ khi xâm chiếm Việt Nam, thực dân Pháp đã chú ý đến điều tra và khai thác tài nguyên khoáng sản. Sở Mỏ Nam Bộ được thành lập năm 1869. Sau khi hoàn thành xâm chiếm Đông Dương người Pháp lập ra Sở Địa chất Đông Dương vào năm 1898, đặt trụ sở tại Hà Nội. Bảo tàng Địa chất Đông Dương cũng được xây dựng tại đây vào năm 1914 [1].

Năm 1945 Việt Nam giành độc lập, ngày 02/10/1945 Bộ Quốc dân Kinh tế của nhà nước Việt Nam Dân chủ Cộng hòa ban hành Nghị định về tổ chức các cơ quan trực thuộc, trong đó có Nha Kỹ nghệ là cơ quan đảm trách quản trị các vấn đề mỏ và địa chất, vì thế ngày 2 tháng 10 được coi là ngày ra đời và ngày truyền thống của ngành địa chất ở Việt Nam, với lễ kỷ niệm tiến hành vào chủ nhật đầu tiên của tháng Mười.

Chiến tranh Đông Dương nổ ra, các cơ quan nhà nước Việt Nam Dân chủ Cộng hòa sơ tản. Sau này, ngày 14/5/1951, Bộ Kinh tế Việt Nam Dân chủ Cộng hòa đổi tên thành Bộ Công Thương, còn Nha Kỹ nghệ được đổi tên thành Nha Khoáng chất và Kỹ nghệ. Người Pháp thì khôi phục Sở Địa chất Đông Dương tại Hà Nội. Tuy nhiên do chiến tranh các hoạt động điều tra địa chất ở Đông Dương gần như ngưng trệ.

Năm 1954 đất nước chia cắt, Sở Địa chất Đông Dương di dời vào Sài Gòn. Năm 1956 chính quyền Việt Nam Cộng hòa thành lập Tổng Nha Mỏ thuộc Bộ Kinh tế, trong đó có thành viên là Sở Địa chất. Các hoạt động của sở này chấm dứt khi chiến tranh kết thúc năm 1975.

Tại miền bắc, tháng 9/1955 Nha Khoáng chất và Kỹ nghệ được đổi tên thành Sở Địa chất, và tháng 7/1959 đổi tên thành Cục Địa chất. Tháng 7/1960 Tổng cục Địa chất thành lập và là một cơ quan ngang bộ, và từ năm 1975 thì hoạt động trên toàn lãnh thổ Việt Nam.

Năm 1987 Tổng cục đổi tên thành Tổng cục Mỏ và Địa chất. Tháng 4/1990 Tổng cục này chia tách thành 4 đơn vị thuộc Bộ Công nghiệp nặng lúc đó, là Cục Địa chất Việt Nam, Cục Quản lý tài nguyên khoáng sản Nhà nước, Tổng công ty Khoáng sản quý hiếm Việt Nam và Tổng công ty Phát triển khoáng sản.

Tháng 12/1996 Cục Địa chất và Cục Quản lý tài nguyên nhập lại thành Cục Địa chất và Khoáng sản Việt Nam thuộc Bộ Công nghiệp. Tháng 11/2002, Cục này được chuyển sang thuộc Bộ Tài nguyên và Môi trường.

Ngày 01/7/2011 Tổng cục Địa chất và Khoáng sản tái thành lập, sau đổi tên là Tổng cục Địa chất và Khoáng sản Việt Nam.[4]. Tháng 02/2014, Thủ tướng Chính phủ ban hành Quyết định quy định chức năng, nhiệm vụ, quyền hạn và cơ cấu tổ chức của Tổng cục như hiện nay.

Trong danh xưng thì người trong ngành dùng "(Tổng) cục Địa chất và Khoáng sản Việt Nam", còn ngoài ngành thường dùng "(Tổng) cục Địa chất và Khoáng sản".